Майнор "Интеллектуальный анализ данных" ¶
Курс "Введение в анализ данных" ¶
Лабораторная работа №2. Кластерный анализ. ¶
Задание 1¶
В данном задании вам необходимо реализовать алгоритм кластеризации Partition Around Medoids.
Два возможных варианта реализации:
Функция¶
Нужно написать функцию, которая принимает на вход несколько параметров и возвращает также несколько значений.
Параметры функции:
- data: данные в виде dataframe или матрицы (аналогично функциям и методам, которые рассматривали на практике);
- k: число центров (кластеров);
- metric: расстояние между объектами (те же, что поддерживает функция
pdist()); - max_iter: максимальное число итераций;
- tol: минимальное значение изменения целевой функции.
Возвращаемые значения:
- inertia: итоговое значение целевой функции;
- medoids: центры кластеров - индексы объектов данных, которые являются центрами;
- labels: метки кластеров для каждого объекта.
Класс¶
По аналогии с классами в scikit-learn, нужно реализовать класс, наследуемый от Base Estimator.
Подробнее про реализацию своих моделей в scikit-learn: here.
Параметры:
- k: число центров (кластеров);
- metric: расстояние между объектами (те же, что поддерживает функция
pdist()); - max_iter: максимальное число итераций;
- tol: минимальное значение изменения целевой функции.
Методы:
- fit(): метод для выполнения кластеризации.
Аргументы метода:- data: данные в виде dataframe или матрицы
Атрибуты:
- inertia_: итоговое значение целевой функции;
- medoids_: центры кластеров - индексы объектов данных, которые являются центрами;
- labels_: метки кластеров для каждого объекта.
Note 1: Параметры max_iter и tol должны иметь дефолтные значения.
Note 2: Функции для вычисления расстояний самим реализовывать не нужно, используйте pdist().
Также необходимо написать документацию к функции/методу: описать формат входных данных (параметров) и возвращаемых значений, особенности работы функции и детали реализации алгоритма. В качестве образца можно взять документацию к функциям/методам, которые рассматривали на занятиях.
Наивная реализация алгоритма будет работать довольно медленно - это нормально. Будет плюсом (но не является обязательным), если вы попытаетесь оптимизировать ваш код. Можете указать все ваши решения для оптимизации в документации.
In [18]:
import random
import pandas as pd
import pylab as pl
import numpy as np
import scipy.spatial as ss
import sklearn.cluster as sc
import sklearn.manifold as sm
import sklearn.datasets as ds
import sklearn.metrics as smt
import matplotlib.pyplot as plt
from scipy.spatial.distance import pdist, cdist
Документация¶
PAM(k=3, metric="euclidean", max_iter = 300, tol=0.001)¶
PARAMETERS¶
k: int, default=3
The number of clusters to form as well as the number of centroids to generate.
metric: str, default='euclidean'
Metric used to compute the linkage.
max_iter: int, default=300
Maximum number of iterations of the k-means algorithm for a single run.
tol: float, default=1e-3
Relative tolerance with regards to inertia to declare convergence.
ATTRIBUTES¶
inertia_: float
Sum of squared distances of samples to their closest cluster medoid.
medoids_: list of len (n_clusters)
Coordinates of cluster medoids. If the algorithm stops before fully converging (see tol and max_iter), these will not be consistent with labels_.
labels_: ndarray of shape (n_samples,)
Labels of each point.
### **METHOD fit(self, X)** #### Compute partiton around medoids clustering. ### **PARAMETERS**
X: array-like or sparse matrix, shape=(n_samples, n_features)
Training instances to cluster.
### **RETURNS**
self
Fitted estimator.
Особенности работы алгоритма описаны комментариями непосредственно в коде¶
In [127]:
from sklearn.base import BaseEstimator
from itertools import cycle
from math import hypot
def medoid_distribution(med_ind, data):
dist_vector = np.zeros(len(data)) # ближайшая медоида для каждого объекта
dist_matr = np.zeros((len(data), len(med_ind))) # матрица расстояний
target = np.Inf # значение целевой функции
min_dists = np.zeros(len(data))
for idx, p in enumerate(data):
''' поиск для каждого объекта данных ближайшего к нему медоида,
приписание объекта к этому медоиду: "в матрице расстояний" индексу данного объекта
присваивается индекс медоида'''
dist_matr[idx] = [np.linalg.norm(p - data[q]) for q in med_ind]
dist_vector[idx] = med_ind[np.asarray(dist_matr[idx]).argmin()]
min_dists[idx] = min(dist_matr[idx])
target = sum(min_dists)
return dist_vector, dist_matr, min_dists, target
def medoid_remake(med_ind, dist_vector, data):
new_meds = []
for m in med_ind:
clust = np.where(dist_vector == m) # индекс тех эл-в в данных, медоид которых равен m
clust = clust[0] # функция np.where() возвращает tuple из 1 эл-та, содержащего array
distances = [] # здесь будут суммы р-й каждой точки до всех остальных в этом кластере
for i in clust:
distances.append(sum([np.linalg.norm(data[i] - data[q]) for q in clust if q != i]))
new_meds.append(clust[np.asarray(distances).argmin()])
return new_meds
class PAM(BaseEstimator):
def __init__(self, k=3, metric="euclidean", max_iter = 300, tol=0.001):
self.k = k
self.metric = metric
self.max_iter = max_iter
self.tol = tol
def fit(self, dt):
# преобразование данных из dataframe, если необходимо в массив списков характеристик каждого объекта
if type(dt) == pd.core.frame.DataFrame:
data = dt[col].values.tolist()
else:
data = dt
# Шаг 1
med_ind = set() # рандомная генерация индексов медоидов
while len(med_ind) != self.k:
med_ind.add(random.randint(0, len(data) - 1))
med_ind = list(med_ind)
# Шаг 2 матрица расстояний
dist_vector, dist_matr, min_dists, TARGET_INIT = medoid_distribution(med_ind, data)
# TARGET_INIT - начальное значение целевой ф-и, с которым будем сравнивать её изменения
# Шаг 3 пересчёт расстояний и медоид
for i in range(self.max_iter):
med_ind = medoid_remake(med_ind, dist_vector, data)
dist_vector, dist_matr, min_dists, target = medoid_distribution(med_ind, data)
if TARGET_INIT - target < self.tol:
break
self.inertia_ = target
self.medoids_ = med_ind
self.labels_ = dist_vector
#return self.inertia_, self.medoids_, self.labels_
In [128]:
# pam = PAM(2)
# pam.fit(data_pca[: 50])
# pam.labels_
Out[128]:
In [129]:
# pam.medoids_
Out[129]:
In [130]:
# pam.inertia_
Out[130]:
Задание 2¶
В рамках данной лабораторной работы вам предлагается проанализировать набор данных по различным городам США. Каждый город характеризуется следующими признаками:
In [20]:
import pandas as pd
In [21]:
pd.set_option('display.max_rows', 20)
pd.set_option('display.max_colwidth', 1000)
In [23]:
data_desc = pd.read_csv('Data_Description.txt', sep=':')
data_desc
Out[23]:
Notes:¶
- Для всех признаков, кроме трех, чем выше значение - тем лучше. Для признаков
HousingиCrime- наоборот. - Признак
Population- статистический признак, не имеющий интерпретации как “лучше-хуже”. - Признак
Place- уникальный идентификатор объекта (города), он не должен использоваться при кластеризации. - Также в данных присутствуют географические координаты городов -
LongitudeиLatitude. Их также не следует использовать при кластеризации данных.
In [176]:
df = pd.read_csv('Data.txt', sep=' ').reset_index()
df
Out[176]:
Задания:¶
0. Выполните необходимую предобработку данных. Перед кластеризацией исключите из данных признаки Place, Long и Lat.
- Выполните кластеризацию иерархическим методом.
Рассмотрите различные расстояния между объектами. Определите, какие следует использовать при кластеризации.
Выполните кластеризацию с различными расстояниями между кластерами. Сравните результаты, сделайте выводы.
- Выполните кластеризацию методом dbscan. Используйте расстояния между объектами, определенные в предыдущем пункте.
Реализуйте эвристику (см. лекции) для выбора параметров алгоритма. Подберите подходящие параметры алгоритма.
- Выполните кластеризацию методом kmeans. Определите наилучшее (на ваш взгляд) число кластеров.
- Выполните кластеризацию методом PAM. Используйте расстояния между объектами, определенные в пункте (1). Определите наилучшее (на ваш взгляд) число кластеров.
Используйте реализацию алгоритма из Задания 1.
- (Бонусное) Выполните кластеризацию другими методами. Например, HDBSCAN или алгоритмы, реализованные в scikit-learn.
- В результате выполнения предыдущих пунктов вы должны получить 4 или больше разбиения объектов (по одному на каждый метод). Сравните их между собой, сделайте выводы о сходствах и различиях.
Оцените результаты каждой кластеризации, используя метрики, рассмотренные на занятиях (Silhouette и прочие).
- Выберите одно разбиение, наиболее подходящее на ваш взгляд. Предложите интерпретацию полученным кластерам или покажите, что этого сделать нельзя.
- Оцените, как полученные кластеры распределены географически. (Бонусное) Провизуализируйте распределение на карте США.
Оцените, как полученные кластеры распределены по штатам. Можно ли выделить какую-то зависимость (территориальную или для штатов)?
№0¶
In [185]:
data = df.drop(["Long", "Lat", "Place", "Pop"], axis=1)
data['HousingCost'] = -1 * data['HousingCost'] # *(-1), тогда значения будут интерпретироваться как для всех остальных
data['Crime'] = -1 * data['Crime']
data
Out[185]:
In [69]:
from sklearn.preprocessing import StandardScaler
data_scaled = StandardScaler().fit_transform(data)
In [70]:
from sklearn.cluster import *
import scipy.cluster.hierarchy as sch
import mpl_toolkits.mplot3d.axes3d as p3
import plotly.express as px
from sklearn.decomposition import PCA
In [71]:
pca = PCA(n_components=0.9, random_state=321)
data_pca = pca.fit_transform(data_scaled)
In [72]:
from itertools import combinations
In [73]:
col = list(data.columns)
№1 Agglomerative clustering¶
In [74]:
dendrogram = sch.dendrogram(sch.linkage(data_pca, method='ward'))
In [82]:
dendrogram = sch.dendrogram(sch.linkage(data_pca, method='complete'))
In [75]:
for i in range(10, 34):
ward = AgglomerativeClustering(n_clusters=None, linkage='ward', distance_threshold=i).fit(data_pca)
print(*set(ward.labels_))
In [44]:
import random as rnd
In [77]:
# Визуализация для Climate и HousingCost (первые два столбца) разделения на 2-9 кластеров, linkage = 'ward'
for i in range(2, 10):
ward = AgglomerativeClustering(n_clusters=i, linkage='ward').fit(data_pca)
label = ward.labels_
fig = plt.figure(figsize=(8,8),)
for k in range(i):
x = rnd.randint(2, 255)
y = rnd.randint(2, 255)
z= rnd.randint(2, 255)
plt.scatter(data_pca[label==k, 0], data_pca[label==k, 1], s=50, marker='o',
color='#{:02x}{:02x}{:02x}'.format(x,y,z))
plt.show()
In [78]:
# Визуализация для Climate и HousingCost (первые два столбца) разделения на 2-9 кластеров, linkage = 'complete'
for i in range(2, 10):
ward = AgglomerativeClustering(n_clusters=i, linkage='complete').fit(data_pca)
label = ward.labels_
fig = plt.figure(figsize=(8,8),)
for k in range(i):
x = rnd.randint(2, 255)
y = rnd.randint(2, 255)
z= rnd.randint(2, 255)
plt.scatter(data_pca[label==k, 0], data_pca[label==k, 1], s=50, marker='o',
color='#{:02x}{:02x}{:02x}'.format(x,y,z))
plt.show()
Очевидно, оптимальное количество кластеров [2, 3], при расстояниях из [20, 34]¶
In [83]:
for i in range(2, 10):
label = AgglomerativeClustering(n_clusters=i, linkage='ward').fit(data_pca).labels_
fig = plt.figure()
ax = p3.Axes3D(fig)
ax.view_init(7, -80)
for l in np.unique(label):
ax.scatter(data_pca[label == l, 0], data_pca[label == l, 1], data_pca[label == l, 2],
color=plt.cm.jet(float(l) / np.max(label + 1)),
s=20, edgecolor='k')
VISUALIZATION for 2-5 Clusters¶
In [84]:
for k in range(2, 6):
fig = plt.figure(figsize=(30,10))
label = AgglomerativeClustering(n_clusters=k, linkage='ward').fit(data_pca).labels_
j = 0
print(f"{k} clusters")
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
plt.show()
№2 DBSCAN¶
In [85]:
from sklearn.neighbors import NearestNeighbors
for i in range(3, 10):
nbrs = NearestNeighbors(n_neighbors=i, algorithm='ball_tree').fit(data_pca)
distances, indices = nbrs.kneighbors(data_pca)
plt.plot(sorted(distances[:, -1]))
plt.ylabel(f"k-distances for {i} neighbours")
plt.grid(True)
plt.show()
Реализация эвристики¶
In [86]:
# для каждой точки высчитывается среднее расстояние до n ближайших соседей
def k_neib(p, data, n):
return sum(sorted([np.linalg.norm(p - q) for q in data])[: n]) / n
# для каждой точки в датасете высчитывается среднее р-е до n ближайших соседей
def all_knn(min_pts):
all_knn = []
for i in data_pca:
all_knn.append(k_neib(i, data_pca, min_pts))
return sorted(all_knn)
# функция all_knn(min_pts) возвращает отсортированный массив средних расстояний каждой точки до её n ближайших соседей
for i in range(3, 10):
nbrs = all_knn(i)
plt.plot(nbrs)
plt.ylabel(f"k-distances for {i} neighbours")
plt.grid(True)
plt.show()
Из Еlbow метода видно, что для любого min_pts критерий eps должен быть ~2-3 при min_pts = 4¶
при 0.8 <= eps < 2 кластеров получается слишком много (4, 6 при 0.9) и они плохо разделяются¶
при eps < 0.8 почти все точки кластеризуются как выбросы¶
при eps > 2.5 почти все считается одним кластером с выбросами, здесь выбор eps зависит от того, что считать выбросами¶
In [87]:
db = DBSCAN(eps=0.9, min_samples=4).fit(data_pca)
label = db.labels_
#label
In [88]:
from itertools import combinations
In [89]:
col = list(data.columns)
In [90]:
# визуализация DBSCAN для каждой пары признаков при eps=0.9 - 6 кластеров - слишком много
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [91]:
db = DBSCAN(eps=1.25, min_samples=4).fit(data_pca)
label = db.labels_
#label
In [92]:
# визуализация DBSCAN для каждой пары признаков при eps=1.25 - тоже много
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [93]:
db = DBSCAN(eps=2, min_samples=4).fit(data_pca)
label = db.labels_
#label
In [94]:
# визуализация DBSCAN для каждой пары признаков при eps=2
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [95]:
db = DBSCAN(eps=4, min_samples=4).fit(data_pca)
label = db.labels_
#label
In [96]:
# визуализация DBSCAN для каждой пары признаков при eps=3 - не все выбросы считаются таковыми
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [97]:
# трёхмерное изображение по тройкам признаков
j = 0
for i in combinations(range(7), 3):
label = DBSCAN(eps=0.9, min_samples=4).fit(data_pca).labels_
fig = plt.figure()
ax = p3.Axes3D(fig)
ax.view_init(7, -80)
for l in np.unique(label):
ax.scatter(data_pca[label == l, i[0]], data_pca[label == l, i[1]], data_pca[label == l, i[2]],
color=plt.cm.jet(float(l) / np.max(label + 1)),
s=20, edgecolor='k')
plt.legend([data_desc['Attribute'][i[0]], data_desc['Attribute'][i[1]], data_desc['Attribute'][i[2]]])
j += 1
№3 K-Means¶
In [98]:
# подбор параметров методом локтя и силуэта
from sklearn.metrics import silhouette_score
km_scores= []
km_silhouette = []
vmeasure_score =[]
db_score = []
for i in range(2,10):
km = KMeans(n_clusters=i, random_state=0).fit(data_pca)
preds = km.predict(data_pca)
km_scores.append(-km.score(data_pca))
silhouette = silhouette_score(data_pca, preds)
km_silhouette.append(silhouette)
plt.figure(figsize=(30, 4))
plt.subplot(1, 2, 1)
plt.title("Elbow method\n", fontsize=15)
plt.scatter(x=[i for i in range(2, 10)], y=km_scores, s=150, edgecolor='k')
plt.grid(True)
plt.xlabel("Number of clusters", fontsize=15)
plt.ylabel("K-means score", fontsize=15)
plt.xticks([i for i in range(2, 10)], fontsize=15)
plt.yticks(fontsize=15)
plt.subplot(1, 2, 2)
plt.title("Silhouette coefficient method \n", fontsize=15)
plt.scatter(x=[i for i in range(2,10)], y=km_silhouette, s=150, edgecolor='k')
plt.grid(True)
plt.xlabel("Number of clusters", fontsize=15)
plt.ylabel("Silhouette score", fontsize=15)
plt.xticks([i for i in range(2,10)], fontsize=15)
plt.yticks(fontsize=15)
plt.show()
из критериев подбора параметров для KMeans также видно, что оптимальные количества кластеров [2, 3]¶
In [99]:
km = KMeans(n_clusters=2, random_state=123).fit(data_pca)
label = km.labels_
#label
In [100]:
km.cluster_centers_
Out[100]:
In [101]:
for k in range(2, 6):
fig = plt.figure(figsize=(30,10))
label = KMeans(n_clusters=k, random_state=123).fit(data_pca).labels_
j = 0
print(f"{k} clusters")
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
plt.show()
Оптимальное число кластеров - 2-3¶
№4 Self-written PAM-algorithm¶
In [102]:
from datetime import datetime
In [103]:
pam = PAM(2)
start_time = datetime.now()
pam.fit(data_pca)
delta = datetime.now() - start_time
pam.labels_
Out[103]:
In [104]:
print(f"Self-written PAM algorithm work time: {delta.seconds} sec {delta.microseconds} microsec")
In [105]:
# трёхмерное изображение по тройкам признаков для n=2
j = 0
for i in combinations(range(7), 3):
fig = plt.figure()
ax = p3.Axes3D(fig)
ax.view_init(7, -80)
for l in np.unique(label):
ax.scatter(data_pca[label == l, i[0]], data_pca[label == l, i[1]], data_pca[label == l, i[2]],
color=plt.cm.jet(float(l) / np.max(label + 1)),
s=20, edgecolor='k')
plt.legend([data_desc['Attribute'][i[0]], data_desc['Attribute'][i[1]], data_desc['Attribute'][i[2]]])
j += 1
In [112]:
for k in range(2, 6):
fig = plt.figure(figsize=(30,10))
pam = PAM(k)
pam.fit(data_pca)
label = pam.labels_
j = 0
print(f"{k} clusters")
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
plt.show()
In [155]:
# Закомментированный код далее - построение отдельных частей графика выше, т.к. исполняется алгоритм ~ 3 минуты
# fig = plt.figure(figsize=(30,10))
# j = 0
# for i in combinations(range(7), 2):
# plt.subplot(3, 7, j + 1)
# plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label2, cmap='viridis', lw=0, s=30)
# plt.xlabel(col[i[1]])
# plt.ylabel(col[i[0]])
# j += 1
In [69]:
# pam = PAM(3)
# pam.fit(data_pca)
# label3 = pam.labels_
In [153]:
# fig = plt.figure(figsize=(30,10))
# j = 0
# for i in combinations(range(7), 2):
# plt.subplot(3, 7, j + 1)
# plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label3, cmap='viridis', lw=0, s=30)
# plt.xlabel(col[i[1]])
# plt.ylabel(col[i[0]])
# plt.legend(label)
# j += 1
In [80]:
# pam = PAM(5)
# pam.fit(data_pca)
# label5 = pam.labels_
In [154]:
# fig = plt.figure(figsize=(30,10))
# j = 0
# for i in combinations(range(7), 2):
# plt.subplot(3, 7, j + 1)
# plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=label5, cmap='viridis', lw=0, s=30)
# plt.xlabel(col[i[1]])
# plt.ylabel(col[i[0]])
# j += 1
Аналогично KMeans, лучшим кажется разбиение на 2-3 кластера¶
№5¶
In [108]:
import hdbscan
In [40]:
#conda install -c conda-forge hdbscan
Видно, что при min_cluster_size > 5 все считается одним кластером, состоящим из выбросов¶
при min_cluster_size = [2, 3] хорошо видно основной класс и граничные с ним точки¶
при min_cluster_size = [4, 5] большинство точек считается граничными для малого количества основных, классы смешиваются и плохо разделяются¶
In [109]:
hd = hdbscan.HDBSCAN(min_cluster_size=2)
labels = hd.fit_predict(data_pca)
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=labels, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [110]:
hd = hdbscan.HDBSCAN(min_cluster_size=3)
labels = hd.fit_predict(data_pca)
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=labels, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
In [111]:
hd = hdbscan.HDBSCAN(min_cluster_size=6)
labels = hd.fit_predict(data_pca)
fig = plt.figure(figsize=(30,10))
j = 0
for i in combinations(range(7), 2):
plt.subplot(3, 7, j + 1)
plt.scatter(data_pca[:, i[0]], data_pca[:, i[1]], c=labels, cmap='viridis', lw=0, s=30)
plt.xlabel(col[i[1]])
plt.ylabel(col[i[0]])
j += 1
Практически не отличимо от DBSCAN, алгоритм также выделяет максимум один полноценный класс¶
№6¶
Для большинства алгоритмов оптимальное разбиение - 2-3 класса, согласно эвристикам¶
Исключения - DBSCAN и HDBSCAN - в них невозможно добиться четкого разделения больше, чем на 2 кластера, притом один - основной, а другой - выбросов¶
Наиболее удачные кластеризации - KMeans, Agglomerative и написанный PAM (не учитывая время его работы) - в них кластеры разделяются наилучшим образом, не зависимо от количества задаваемых, все три делят кластеры похожим образом (из визуализации)¶
Оценки метриками (Silhouette, Elbow, Dendrogram...) произведены непосредственно в пунктах кластеризаций выше¶
In [231]:
km = KMeans(n_clusters=2, random_state=123).fit(data_pca)
label = km.labels_
cl_cent = km.cluster_centers_
In [208]:
ones = np.where(label==1)
zeros = np.where(label==0)
In [209]:
df2_1 = df.loc[df["index"].isin(ones[0])]
df2_0 = df.loc[df["index"].isin(zeros[0])]
In [210]:
df2_0.describe()
Out[210]:
In [211]:
df2_1.describe()
Out[211]:
Из приведенного разбиения по двум кластерам можно увидеть, что в первом средние значения значительно выше, чем в нулевом - это значит, что при разбиение на два кластера вполне эффективно для бинарного оценивания т.н. качества жизни в городе¶
In [232]:
km = KMeans(n_clusters=3, random_state=123).fit(data_pca)
label = km.labels_
cl_cent_3 = km.cluster_centers_
In [213]:
twos = np.where(label==2)
ones = np.where(label==1)
zeros = np.where(label==0)
In [214]:
df3_2 = df.loc[df["index"].isin(twos[0])]
df3_1 = df.loc[df["index"].isin(ones[0])]
df3_0 = df.loc[df["index"].isin(zeros[0])]
In [215]:
df3_0.describe()
Out[215]:
In [216]:
df3_1.describe()
Out[216]:
In [217]:
df3_2.describe()
Out[217]:
Разбиение на три кластера методом KMeans тоже можно объяснить, исследуя, например, средние показатели - в первом кластере - они наилучшие, в нулевом - наименьшие¶
In [219]:
# conda install -c conda-forge folium
In [220]:
import folium
In [248]:
lat20 = np.array(df2_0["Lat"])
long20 = np.array(df2_0["Long"])
In [254]:
m_cl_0 = folium.Map(location=[df2_0["Lat"].mean(), df2_0["Long"].mean()])
for i in range(len(df2_0)):
folium.Marker([lat20[i], long20[i]], popup=f'The {i} observation').add_to(m_cl_0)
m_cl_0.add_child(folium.ClickForMarker(popup='Waypoint'))
m_cl_0
Out[254]:
Первый кластер¶
In [256]:
lat21 = np.array(df2_1["Lat"])
long21 = np.array(df2_1["Long"])
In [261]:
m_cl_1 = folium.Map(location=[df2_1["Lat"].mean(), df2_1["Long"].mean()])
for i in range(len(df2_1)):
folium.Marker([lat21[i], long21[i]], popup=f'The {i} observation').add_to(m_cl_1)
m_cl_1.add_child(folium.ClickForMarker(popup='Waypoint'))
m_cl_1
Out[261]:
Распределение для трёх кластеров¶
Нулевой кластер¶
In [264]:
lat30 = np.array(df3_0["Lat"])
long30 = np.array(df3_0["Long"])
In [274]:
m_cl3_0 = folium.Map(location=[df3_0["Lat"].mean(), df3_0["Long"].mean()])
for i in range(len(df3_0)):
folium.Marker([lat30[i], long30[i]], popup=f'The {i} observation').add_to(m_cl3_0)
m_cl3_0.add_child(folium.ClickForMarker(popup='Waypoint'))
m_cl3_0
Out[274]:
Первый кластер¶
In [268]:
lat31 = np.array(df3_1["Lat"])
long31 = np.array(df3_1["Long"])
In [269]:
m_cl3_1 = folium.Map(location=[df3_1["Lat"].mean(), df3_1["Long"].mean()])
for i in range(len(df3_1)):
folium.Marker([lat31[i], long31[i]], popup=f'The {i} observation').add_to(m_cl3_1)
m_cl3_1.add_child(folium.ClickForMarker(popup='Waypoint'))
m_cl3_1
Out[269]:
Второй кластер¶
In [270]:
lat32 = np.array(df3_2["Lat"])
long32 = np.array(df3_2["Long"])
In [272]:
m_cl3_2 = folium.Map(location=[df3_2["Lat"].mean(), df3_2["Long"].mean()])
for i in range(len(df3_2)):
folium.Marker([lat32[i], long32[i]], popup=f'The {i} observation').add_to(m_cl3_2)
m_cl3_2.add_child(folium.ClickForMarker(popup='Waypoint'))
m_cl3_2
Out[272]:
Сильную территориальную зависимость по кластерам выделить сложно, однако, есть места, которые встречаются только в одном из них. Например, для трёх кластеров: южно-центральные территории (New Mexico), центральные (Wyoming, South Dakota, Nevada, Arizona), а также юго-восток (Florida) присутствуют только во втором кластере. В первом класторе почти польностью отсутсвую наблюдения о центральной части, северной, восточной и о юго-юго-восточной. Северо-запад (Idaho, Oregon) присутствует только в нулевом кластере. Также можно проследить наибольшие концентрации городов по кластерам - для второго это Florida и юго-восток, для нулевого - восток и северо-восток, для первого - наименьшего - New-York.¶
Для двух кластеров выделить территориальную зависимость почти невозможно, так как территории каждого штата втречаются в каждом кластере, просто размер первого - меньше, соответственно на него приходится меньше наблюдений для каждой территории.¶
In [ ]: